Yusof dilahirkan pada 24 April 1954 di Jalan Pahang, Kuala Lumpur kepada suri rumah Bahyah Talib dan pemandu lori Md. Haslam Khan. Beliau merupakan anak keempat daripada kalangan tujuh beradik yang bersama-sama tinggal di sebuah rumah di penempatan setinggan.[8] Beliau menerima pendidikannya di Sekolah Menengah Kebangsaan Aminuddin Baki, Kuala Lumpur.

Beliau terpikat dengan filem melalui pengalamannya menonton filem barat Hollywood dan filem-filem Bollywood—dengan yang kedua, beliau menjadikan bintang Bollywood Shashi Kapoor sebagai idola beliau dalam bidang lakonan. Oleh itu, Yusof memutuskan bahawa beliau akan menjadi pelakon, meskipun tidak direstui oleh bapanya yang percaya bahawa industri hiburan tidak mempunyai jaminan masa depan.[8] Selepas tamat Sijil Pelajaran Malaysia (SPM), Yusof mengambil pekerjaan sebagai konduktor tiket bas Sri Jaya, tetapi beliau juga diam-diam menghadiri ujibakat lakonan.